![arXiv:2501.07927v1 [cs.LG] 2025 年 1 月 14 日](/simg/d/d9644cb0e3282e91ab0a0efdbf71e923c6565160.png)
机构名称：
¥ 4.0
目前对大型语言模型 (LLM) 应用程序中针对即时攻击的防御的评估通常忽略了两个关键因素：对抗行为的动态性质以及限制性防御对合法用户施加的可用性惩罚。我们提出了 D-SEC（动态安全效用威胁模型），该模型明确将攻击者与合法用户分开，对多步骤交互进行建模，并以可优化的形式严格表达安全效用。我们通过引入 Gandalf 进一步解决了现有评估中的不足之处，Gandalf 是一个众包、游戏化的红队平台，旨在生成逼真的自适应攻击数据集。使用 Gandalf，我们收集并发布了 279k 次即时攻击的数据集。结合良性用户数据，我们的分析揭示了安全性和实用性之间的相互作用，表明 LLM 中集成的防御措施（例如系统提示）即使不阻止请求也会降低可用性。我们证明，受限应用程序域、纵深防御和自适应防御是构建安全且有用的 LLM 应用程序的有效策略。代码可在 https://github.com/lakeraai/dsec-gandalf 获得。
arXiv:2501.07927v1 [cs.LG] 2025 年 1 月 14 日
主要关键词
![arXiv:2501.07927v1 [cs.LG] 2025 年 1 月 14 日PDF文件第1页](/bimg/4/4d00e647d32f844a68f77aa1b2d1fc96c5e78598.webp)
![arXiv:2501.07927v1 [cs.LG] 2025 年 1 月 14 日PDF文件第2页](/bimg/2/20348da9c9e862b5673313ba0b5e8fcd1efc7ab6.webp)
![arXiv:2501.07927v1 [cs.LG] 2025 年 1 月 14 日PDF文件第3页](/bimg/d/d2ecbb6fe3db0fbd35e9ada54d3ee1e32659c8aa.webp)
![arXiv:2501.07927v1 [cs.LG] 2025 年 1 月 14 日PDF文件第4页](/bimg/d/d5850577be3706a00fef6c5103e85a08b8812941.webp)
![arXiv:2501.07927v1 [cs.LG] 2025 年 1 月 14 日PDF文件第5页](/bimg/0/0c0df95e105d9a07423bb592889cd29b3969210c.webp)
相关文件推荐
![arXiv:2501.07927v1 [cs.LG] 2025 年 1 月 14 日](/simg/e/e8270f4b12d07c8409ebaf950a84ff9dd2f0d25b.png)
![arXiv:2501.07502v1 [cs.LG] 2025 年 1 月 13 日](/simg/8/874bffd147cf2c1d48854fba2a925698143a2659.png)
![arXiv:2501.01291v1 [cs.AI] 2025 年 1 月 2 日](/simg/6/653deeb5efad78e36f3c2e27b9e7aba48761d425.png)
![arXiv:2501.01291v1 [cs.AI] 2025 年 1 月 2 日](/simg/f/f52a3aac91627968cfd5ee7f349b9908aeff8184.png)
![arXiv:2501.04957v1 [quant-ph] 2025 年 1 月 9 日](/simg/4/4675215255facc1da84b045fc2a0a6414a23d5fc.png)
![arXiv:2501.03144v2 [quant-ph] 2025 年 1 月 9 日](/simg/f/fb14ff9a45d072705a8b7332dec8c1dbd9ad4d5a.png)
![arXiv:2501.04661v1 [cs.CL] 2025 年 1 月 8 日](/simg/9/9fe58559bff64e656410c92855b2f5594d1bede8.png)
![arXiv:2501.00149v2 [physics.ao-ph] 2025 年 1 月 6 日](/simg/d/d218e1fe75ebf62623e6767a32680742b198a723.png)
![arXiv:2501.02222v1 [quant-ph] 2025 年 1 月 4 日](/simg/f/f95cddee3822ad37b49a6359a5bd92dff9e11ec7.png)
![arXiv:2501.01065v1 [stat.ME] 2025 年 1 月 2 日](/simg/d/df6bee7dabf0e0b4c8a5fbf7ed944edc58afbe06.png)
![arXiv:1905.04210v2 [cs.AI] 2020 年 2 月 14 日](/simg/1/1c7674a20e850a75c8ef4f07c3e06bef37ed2e23.png)
![arXiv:2311.03764v4 [cs.LG] 2024 年 3 月 2 日](/simg/6/65d1deaefd3b0ae77e262828e98179c63a5a5134.png)
![arXiv:2403.00669v1 [cs.LG] 2024 年 3 月 1 日](/simg/6/6d2cba03da31fad9740548417433eee9d023508e.png)
![arXiv:2401.02344v1 [cs.LG] 2024 年 1 月 4 日](/simg/3/33969f2d6df82554df6878e78b2420d22a4c30e8.png)
![arXiv:1901.02602v1 [cs.LG] 2019 年 1 月 9 日](/simg/0/04ec387a38e523020e6fffe3b65c786036aa678b.webp)
![arXiv:2403.18486v1 [cs.LG] 2024 年 3 月 27 日](/simg/b/b8126dc36ca7c3b3066b8cdc012c95e254ab1d22.png)
![arXiv:2307.00364v2 [cs.LG] 2024 年 5 月 28 日](/simg/a/a6e1b4d82219ab22304fde72b617fd5fbb6bdfe6.png)
![arXiv:2406.10729v1 [cs.LG] 2024 年 6 月 15 日](/simg/1/1d883a67dcaed3567e697f15cdb19f604e910a1e.png)
![arXiv:2401.06899v1 [cs.LG] 2024 年 1 月 12 日](/simg/4/4c9775c122729d279ec2c6eb58cdf72cd726385d.png)
![arXiv:1912.05135v3 [cs.CV] 2020 年 3 月 14 日](/simg/0/0707fc16789e4908e2fbb96660f5b652882edfb5.webp)
